Moore telah dilahirkan pada 29 Disember 1936, di kawasan kejiranan Brooklyn Heights di Brooklyn, New York City, New York, oleh ibunya bernama Marjorie (née Hackett) dan bapanya bernama George Tyler Moore yang bekerja sebagai seorang kerani. [13] [14] [15] Keluarganya yang beragama Ireland-Katolik tinggal di kawasan kejiranan Flatbush Brooklyn. Keluarga Moores kemudiannya tinggal di sebuah apartmen yang disewa di 144-16 35th Avenue di Flushing, Queens, New York City.

Moore merupakan anak sulung daripada tiga orang adik beradik; iaitu seorang adik lelaki bernama John dan seorang adik perempuan bernama Elizabeth. Datuk Moore dari sebelah bapa, Leftenan Kolonel Lewis Tilghman Moore, memiliki rumah yang kini menjadi Muzium Ibu Pejabat Stonewall Jackson di Winchester, Virginia . [16]

Ketika Moore berumur lapan tahun, keluarga mereka berpindah ke Los Angeles, California atas cadangan bapa saudaranya, seorang pekerja MCA. [17] Dibesarkan sebagai penganut Katolik, [18] Moore menghadiri St. Rose of Lima Parochial School di Brooklyn sehingga gred ketiga. Di Los Angeles, Moore bersekolah di Saint Ambrose School dan Immaculate Heart High School di kejiranan Los Feliz di bandar itu. [19] [20]

Adik perempuan Moore, Elizabeth meninggal dunia di usia 21 tahun disebabkan gabungan ubat tahan sakit dan alkohol. Adik lelakinya pula meninggal dunia di usia 47 tahun akibat kanser buah pinggang. [21]